Skip test-pull-repeated during CI

This test is expected to fail a small proportion of the time. During
the build of ostree 2018.7-1 in Debian, it seems we were unlucky on
s390x. Non-deterministic tests are also problematic for autopkgtest,
where they can gate migration of our dependencies like GLib, so skip
this test unless the caller has opted-in to non-deterministic tests.

It would be appropriate to enable this test in environments where
failures can easily be retried and are not disruptive to other
packages.

Signed-off-by: Simon McVittie <smcv@debian.org>
Gbp-Pq: Topic debian
Gbp-Pq: Name Skip-test-pull-repeated-during-CI.patch

test-commit-sign.sh: Skip a unit test when running as an installed-test

Signed-off-by: Simon McVittie <smcv@debian.org>
Forwarded: https://github.com/ostreedev/ostree/pull/2459
Applied-upstream: 2021.6, commit:92ed1857ae49a5e4d16bea345b6b5bf6671bf990

Gbp-Pq: Name test-commit-sign.sh-Skip-a-unit-test-when-running-as-an-i.patch

Release to unstable

New upstream release

  - Update symbols file

Update upstream source from tag 'upstream/2021.5'

Update to upstream version '2021.5'
with Debian dir 18336141e32a1132d6f87bc481234c1a335fa76c

New upstream version 2021.5

Update changelog

Mark a patch as applied upstream

Release to unstable

Add patch to fix installed-tests

Remove Lintian override for #947258, fixed in lintian 2.105.0

Bump debhelper compat level from 12 to 13

- debian/rules: Drop --fail-missing argument to dh_missing, which is
  now the default.

Changes-By: lintian-brush
Fixes: lintian: package-uses-old-debhelper-compat-version
See-also: https://lintian.debian.org/tags/package-uses-old-debhelper-compat-version.html

Drop patch that was applied upstream

d/control: Canonicalize field name case Multi-arch => Multi-Arch

Changes-By: lintian-brush
Fixes: lintian: cute-field
See-also: https://lintian.debian.org/tags/cute-field.html

Standards-Version: 4.6.0 (no further changes)

d/copyright: Update

Update symbols file

New upstream release

Update upstream source from tag 'upstream/2021.4'

Update to upstream version '2021.4'
with Debian dir 62caccdb763680564f5ec02ffa2178ae1fe1ac77

New upstream version 2021.4

Release 2021.5

Merge pull request #2449 from cgwalters/mtree-from-commit

Merge pull request #2454 from lucab/ups/auto-txn-complete

repo/private: allow committing/aborting through a transaction guard

repo/private: allow committing/aborting through a transaction guard

This enhances the auto-transaction logic, augmenting the scope of a
transaction guard.
It allows committing or aborting a transaction through its guard.
It also supports tracking the completion status of a transaction
guard, avoiding double commits/aborts, while retaining the auto-cleanup
logic.

Merge pull request #2453 from cgwalters/etc-ignore-sockets

deploy: Ignore sockets, fifos in /etc during merge

https://bugzilla.redhat.com/show_bug.cgi?id=1945274 is an issue where a privileged
kubernetes daemonset is writing a socket into `/etc`.  This makes ostree upgrades barf.

Now, they should clearly move it to `/run`.  However, one option is for us to
just ignore it instead of erroring out.  Some brief investigation shows that
e.g. `git add somesocket` is a silent no-op, which is an argument in favor of ignoring it.

Closes: https://github.com/ostreedev/ostree/issues/2446

lib: Add an API to construct a `MutableTree` from a commit

This is nicer than having the caller parse the commit
object, or indirect via the `OstreeRepoFile*` object of the root.

Will be used in ostree-rs-ext around tar parsing.

Merge pull request #2447 from cgwalters/sepolicy-for-commit

repo: Add an API to init `OstreeSePolicy` from commit directly

Merge pull request #2451 from cgwalters/fsck-happy

Merge pull request #2450 from cgwalters/revdep-ext-ci

sepolicy: Add deprecation comment for `_get_path()`

Came up in review
https://github.com/ostreedev/ostree/pull/2447#issuecomment-931428312

repo: Add an API to init `OstreeSePolicy` from commit directly

This is part of `OstreeCommitModifier`, but I'm not using
that in some of the ostree-ext Rust code.

It just makes more sense as a direct policy API, where it should
have been in the first place.  There's already support for
setting a policy object on a commit modifier, so that's all the
old API needs to do now.

fsck: Print a success message

There's a general Unix philosophy that "silence is golden".
However, when one is explicitly invoking an error check it's nice
to see explicit success.

We already print various statistics, so ending with a happy
note has no extra cost.

tests: Use ostree-ext 0.3.0

This updates to the modern glib 0.14 and paves the way for
some reverse dependency testing by using ostree-ext's code.

Merge pull request #2448 from cgwalters/fix-selinux-policy

bin/commit: Fix --tree=tar with --selinux-policy

bin/commit: Fix --tree=tar with --selinux-policy

The logic for `--selinux-policy` ended up in the `--tree=dir`
path, but there's no reason for that.  Fix the imported
labeling with `--tree=tar`.  Prep for use with containers.

We had this bug because the previous logic was trying to avoid
duplicating the code for generic `--selinux-policy` and
the case of `--selinux-policy-from-base --tree=dir`.

It's a bit more code, but it's cleaner if we dis-entangle them.

Merge pull request #2440 from cgwalters/unit-test-counting

two small unit test patches

tests: Add new TAP APIs

Having to touch a global test counter when adding tests is
a recipe for conflicts between PRs.

The TAP protocol allows *ending* with the expected number of
tests, so the best way to do this is to have an explicit
API like our `tap_ok` which bumps a counter, then end with `tap_end`.

I ported one test as a demo.

tests/pull-test: Avoid duplicating test numbers

We do this in other places; avoids touching two numbers when
adding tests.  Let computers do the addition.

Merge pull request #2438 from cgwalters/release-2021.4

Release 2021.4

configure: post-release version bump

Release 2021.4

Merge pull request #2434 from cgwalters/custom-remote

Add support for "custom remotes"

Add support for "custom remotes"

This will be helpful for the "ostree native container" work in
https://github.com/ostreedev/ostree-rs-ext/

Basically in order to reuse GPG/signapi verification, we need
to support adding a remote, even though it can't be used via
`ostree pull`.  (At least, not until we merge ostree-rs-ext into ostree, but
 even then I think the principle stands)

Merge pull request #2435 from RBuddel/fix-delta-files-resume-legacy-transaction

repo-pull: legacy_transaction_resuming flag ignored

Merge pull request #2430 from cgwalters/stabilize-staging

upgrade: Stabilize deployment staging

repo-pull: legacy_transaction_resuming flag ignored

for deltafiles the legacy_transaction_resuming flag is not used,
which will mark the commit as done, even if files are missing.
using already existing commitstate_is_partial function as fix

upgrade: Stabilize deployment staging

We're waaay overdue for this, it's been the default
in rpm-ostree for years, and solves several important bugs
around not capturing `/etc` while things are running.

Also, `ostree admin upgrade --stage` (should) become idempotent.

Closes: https://github.com/ostreedev/ostree/issues/2389

Merge pull request #2428 from lucab/ups/tests-selinux-basic

tests: fix bare mode unprivileged 'make check'

tests: skip a broken fsck case

There are some existing issues around fsck in unprivileged bare mode,
so this test does not really work at the moment. Leaving it as a FIXME
for the moment.

tests/basic: avoid changing ownership

This avoids possible issues when trying to chmod, tweaking
permissions instead.

tests/basic: Skip --no-xattrs if we have selinux

It cannot work to use `--no-xattrs` when SELinux is enabled
because we get a `security.selinux` attribute on created files
regardless.  So just skip this test if true.

Also add some `ostree fsck`s in here which helped me debug
this.

libtest: tweak selinux/relabel message

Merge pull request #2340 from cgwalters/sign-verify-api

Add an API to verify a commit signature explicitly

Add an API to verify a commit signature explicitly

We have a bunch of APIs to do GPG verification of a commit,
but that doesn't generalize to signapi.  Further, they
require the caller to check the signature status explicitly
which seems like a trap.

This much higher level API works with both GPG and signapi.
The intention is to use this in things that are doing "external
pulls" like the ostree-ext tar import support.  There we will
get the commitmeta from the tarball and we want to verify it
at the same time we import the commit.

Merge pull request #2426 from cgwalters/xattrs-bareuseronly-union

checkout: Also ignore xattrs for union in bare-user-only mode

Merge pull request #2425 from cgwalters/hardlink-correct-errno

checkout: Save errno when re-throwing

checkout: Also ignore xattrs for union in bare-user-only mode

Followup to PRs related to https://github.com/ostreedev/ostree/issues/2410

Since the test suite now covers this the test was failing on
a Fedora SELinux enabled host where we see `security.selinux`
even if not in the commit.

Merge pull request #2424 from cgwalters/test-nonroot-ci

ci: Run GH action CI build+test as non-root

Merge pull request #2422 from cgwalters/allow-none-detached

lib: Change read_commit_detached_metadata to be nullable

checkout: Save errno when re-throwing

I was seeing an `EPERM`  here which was confusing.
It turned out the real error was `EEXIST`.

Since we're referring to the original error, but we do a
lot of computation in the middle, we need to save errno.

ci: Run main GH action CI build+test as non-root

This is really the standard best practice, matching how
e.g. dpkg/rpm work, as well as most local development
environments (including mine) with e.g. `toolbox`.

lib: Change read_commit_detached_metadata to be nullable

Hit this while working on some Rust code.

Merge pull request #2421 from lucab/ups/auto-txn-fixes

lib: improve transactions auto-cleanup logic

lib: improve transactions auto-cleanup logic

This fixes some aspects of OstreeRepoAutoTransaction and re-aligns
it with the logic in flatpak. Specifically:
 * link to the underlying repo through refcounting
 * bridge internal errors to warning messages
 * verify the input pointer type

This is a preparation step before exposing this logic as a public API.

Merge pull request #2418 from lucab/ups/lib-commit-xattrs

commit: automatically skip xattrs in bare-user-only mode

tests: update several bare-user-only checks

lib/commit: automatically skip xattrs in bare-user-only mode

builtins/commit: set up relevant flags in bare-user-only mode

This detects bare-user-only mode and automatically enables a
commit modifier with relevant flags.

lib/diff: automatically skip xattrs in bare-user-only mode

Merge pull request #2419 from dbnicholson/gpg-list-keys

bin/remote: Rename list-gpg-keys to gpg-list-keys

bin/remote: Rename list-gpg-keys to gpg-list-keys

As pointed out in the original review, `gpg-list-keys` fits better
alongside the existing `gpg-import`.

Changes were done with:

```
git grep -l list-gpg-keys | xargs sed -i 's/list-gpg-keys/gpg-list-keys/'
for src in $(git ls-files '*list-gpg-keys*'); do
  dst=${src/list-gpg-keys/gpg-list-keys}
  git mv "$src" "$dst"
done
```

Release to unstable

Merge pull request #2417 from lucab/ups/diff-repo-ignore-xattrs

lib/diff: ignore xattrs if disabled on either repos

lib/diff: ignore xattrs if disabled on either repos

This fixes the logic to detect whether xattrs should be automatically
ignored when diffing.

Merge pull request #2412 from lucab/ups/lib-commit-canonicalize

lib/commit: autofix permissions for bare-user-only

Merge pull request #2401 from dbnicholson/gpg-key-info

Remote GPG key info

lib/commit: autofix permissions for bare-user-only

This tweaks commit logic to detect bare-user-only repositories and
canonicalize permissions automatically.

Adjust Lintian overrides

Recent debhelper installs units into /usr/lib/systemd, so adjust our
override to match either way.

d/rules: Normalize permissions of installed-tests

Apply patch from upstream to fix tests with SOURCE_DATE_EPOCH

Revert "d/test.sh, d/tests: Unset SOURCE_DATE_EPOCH"

This reverts commit d18bfcc689a7676694356710b1f432365334b81a.

d/gbp.conf: Switch branch back to debian/master

Merge pull request #2415 from lucab/ups/checksum-canonical-perms

lib/checkout: use canonical permissions in bare-user-only mode

lib/repo/checkout: use canonical perms in bare-user-only mode

This automatically enables canonical permissions for checkouts in
bare-user-only mode.

lib/core/checksum: add flag to use canonical permissions

This adds a new `OSTREE_CHECKSUM_FLAGS_CANONICAL_PERMISSIONS`
checksumming flag, which is needed in bare-user-only mode
to ignore local IDs.

Merge pull request #2414 from lucab/ups/cli-commit-modifier-autoptr

builtins/commit: move commit modifier to auto-cleanup

Merge pull request #2411 from lucab/ups/cli-commit-errors

builtins/commit: check for conflicting permissions options

builtins/commit: move commit modifier to auto-cleanup

This reduces the usage of goto cleanup logic by porting the commit
modifier pointer to autoptr.

builtins/commit: check for conflicting permissions options

This explicitly checks for commit command options asking for both
non-zero UID/GID and canonical permissions at the same time,
which are incompatible.

Merge pull request #2409 from jlebon/pr/cov-fixes

A couple of Coverity fixes

ostree/dump: Fix free'ing a static string

Reported-by: Seth Arnold <seth.arnold@canonical.com>

lib/sysroot: Fix error message about creating `/var/lib`

Reported-by: Seth Arnold <seth.arnold@canonical.com>

lib/sign-dummy: Handle incorrect signatures correctly

We need to check all signatures for one which passes, not just fail on
the first one.

Reported-by: Seth Arnold <seth.arnold@canonical.com>

Merge pull request #2408 from bgilbert/workflow

workflows: bump lint toolchain; restrict repository access

workflows: limit permissions to reading repo contents

Move the existing docs permissions stanza to the top of the workflow for
consistency.

workflows: bump lint toolchain

Merge pull request #2406 from liujianqiang-niu/main

fix: Avoid wild pointers

fix: Avoid wild pointers

Pointer command is dangerous if there is no assignment.

Log: Avoid wild pointers

Merge pull request #2407 from smcv/tests-source-date-epoch

tests: Unset SOURCE_DATE_EPOCH